Lưu Dục sinh năm 463, khi đó cha của ông Lưu Úc đang mang tước hiệu Tương Đông vương dưới quyền trị vì của bá phụ (của Lưu Dục) Hiếu Vũ Đế. Lưu Dục là con trai cả của Tương Đông vương, và mẹ của ông là một thê thiếp tên Trần Diệu Đăng. (Tương Đông Vương ban đầu không sủng ái Trần thị và đã lại đem bà trao cho một đại thần tứ cấp tên là Lý Đạo Nhi (李道兒) và sau đó lại đưa bà về, và do đó có tin đồn cho rằng cha đẻ của ông là Lý Đạo Nhi chứ không phải Lưu Úc.) Tên tự Huệ Chấn của ông được lấy từ Kinh Dịch, là sách được Tương Đông vương sử dụng nhiều để bói toán.

Tương Đông vương trở thành hoàng đế (tức Minh Đế) sau vụ Tiền Phế Đế (con trai Hiếu Vũ Đế) bị ám sát vào năm 465, sau đó, Minh Đế đã lập Lưu Dục làm thái tử vào năm 466. Khi Thái tử lớn hơn, ông được coi là một đứa trẻ hiếu động quá mức và thích thực hiện những thứ nguy hiểm, chẳng hạn như leo kỳ cán. Lưu Dục thường thay đổi tâm tính và rất bốc đồng, đến nỗi các hầu cận của ông đã không thể ngăn cản ông có những hành vi bạo lực. Minh Đế thường lệnh cho Trần quý nhân đánh Thái tử để trừng phạt. Năm 470, Minh Đế lập cung riêng cho Thái tử.

Năm 472, Minh Đế qua đời, và Thái tử Dục lên ngôi lúc mới chín tuổi, tức Hậu Phế Đế. Hậu Phế Đế phong cho chính thất của phụ hoàng, tức Hoàng hậu Vương Trinh Phong (王貞風), làm hoàng thái hậu, còn Trần quý phi được phong làm "hoàng thái phi."